来自谷歌博客

作者：小牛，Boixo

由机器之心编译

量子计算机有很多独特的优势，比如世界上第一台量子计算机可以完成超级计算一万年的问题

3 分 20 秒

。但是，量子计算机需要严格控制容错、信息丢失等错误。这些错误极其复杂谷歌优化，人工模拟难以消除，为什么不使用机器学习来学习和控制呢？最近，谷歌的研究人员提出使用深度强化学习来大幅提升量子计算的性能。

不久前，机器之心报道了谷歌的量子霸权论文。要想实现强大的量子计算，就必须对量子门进行控制，这样才能保证消除干扰的量子态，保证正确的量子信息能够准确、快速地通过控制门。

量子霸权电路的控制操作。一种。实验中使用的量子电路示例；湾。一量子比特和二量子比特门的控制信号波形。

过去，控制量子的门算法往往无法满足量子计算机所需的精度和速度要求，但谷歌这次采用了一种新的机器学习方法来控制门的精度和速度。提高了一个数量级。

最近，强化学习在控制优化问题上取得了可喜的成果。强化学习可以从噪声控制的轨迹中提取非局部规律（non-local），并将它们转移到各种任务中。为了将这些优势应用于量子控制优化问题，谷歌的研究人员提出了一种新的控制框架，可以同时优化量子计算的速度和准确性，以补偿泄漏和随机控制错误。

与随机梯度下降的基线方法相比，该方法实现了平均门错误数减少两个数量级，优化门同步时间减少一个数量级。研究人员认为，这种将物理发现与最新的机器学习方法相结合的研究，可以推动量子模拟、量子化学的研究，甚至使用近期的量子设备测试量子霸权。

实现近期量子计算机的主要挑战是其最基本的构建块：量子比特。量子比特可以与任何携带能量并且足够接近它的物体相互作用，即杂散光量子（例如不需要的电磁场）、声子（量子器件中的机械振荡）或量子缺陷（在制造不规则过程中形成的芯片基板），这可能会导致量子比特状态发生不可预知的变化。

更复杂的是，用于控制量子比特的工具也带来了许多挑战。操纵和读取量子比特是通过经典的物理控制来完成的，即将电磁场形式的模拟信号耦合到嵌入量子比特的物理基底，例如超导回路。这些电子控制的缺点是它们会产生白噪声，并且除了来自外部辐射源和数模转换器的干扰外，它们还会引入更多随机误差，从而降低量子电路的性能。

为了提高量子计算机的计算能力，为大规模量子计算铺平道路，首先需要建立物理模型来准确描述这些实验问题。

和 MIT 的研究人员发表了一篇名为“Deep”的论文，该论文已发表在 NPJ 的在线子期刊上。我们展示了一种使用深度强化学习生成的新型量子控制框架，该框架可以通过单个控制成本函数封装量子控制优化中的各种实际问题。

论文地址：

与标准随机梯度下降相比，研究人员的框架平均将量子逻辑门错误减少了两个数量级，并显着减少了合成的最佳门控时间。研究人员的研究成果都是利用最近的量子器件获得的，为量子模拟、量子化学和量子霸权提供了广阔的应用空间。

这种新的量子控制范式的新颖之处在于基于深度强化学习的量子控制功能和高效优化方法的开发。为了构建一个全面的成本函数，我们首先需要为现实的量子控制过程开发一个物理模型，通过它我们可以可靠地预测误差量。量子计算精度最难的误差在于量子泄漏，即计算过程中丢失的量子信息量。

这种信息泄漏通常发生在量子位的量子态被激发到更高的能级，或通过自发发射衰减到更低的能级时。泄漏造成的错误不仅会丢失有用的量子信息，还会降低“量子性”，最终将量子计算机的性能降低到经典计算机的水平。

在量子计算过程中，准确评估泄露信息的常用方法是模拟整个计算，但这不利于构建大规模量子计算机，因为量子计算的优势在于它可以很好地执行经典系统无法做到的进行计算。通过改进物理建模，我们的通用损失函数可以针对累积泄漏误差、违反控制边界条件、总门控时间和门控保真度进行联合优化。

使用新的量子控制损失函数谷歌优化，下一步是使用高效的优化工具减少损失。现有的优化方法不能在确保对控制波动的鲁棒性的同时考虑对高精度策略的搜索。为了解决这个问题，研究人员采用了深度强化学习的方法。该方法在各种基准测试中表现良好，对样本噪声具有固有的鲁棒性，并且还可以优化硬控制问题，即使有数百万个参数。

与过去的非强化学习不同，强化学习中的控制策略和控制损失是相互独立的。非强化学习类型，例如 Q-，使用单个神经网络来表示控制轨迹和相应的奖励。在量子计算中，控制轨迹对应的控制信号和配对的量子具有不同的时间步长，奖励用于评价当前步长的量子控制方法。

on- 具有从非局部特征中提取控制轨迹的能力，这在控制方法是高维且结合许多非全局策略时尤其重要。

研究人员将控制轨迹编码为三层全连接神经网络，称为策略网络，并将控制损失函数编码为第二个神经网络，即价值网络。价值网络用于编码未来的奖励。通过强化学习学习鲁棒控制策略。在训练期间，两个网络都使用随机环境进行学习，模仿真实环境的噪声状态。研究人员提供了一系列用于控制两个量子比特的量子门。连续参数，它们对于量子化学应用很重要，但与传统的通用门控设置一起使用会很昂贵。

在这个新框架下，研究人员提出的算法将量子门错误减少了 100 倍。

量子门N(2.2, 2.2, π/2)下的平均精度比较。蓝色为训练环境噪声增加的结果，绿色为无噪声。小图a：有噪声和无噪声的精度对比放大。小图b：随着噪声的增加，精度的方差增大。

的这项工作表明，使用机器学习工具和近周期量子算法可以提高灵活性，并为通用量子控制机制提供额外的计算能力。当然，作者承认他们需要进行更多的实验，以便更好地将机器学习融入实际的量子计算管道中，以充分提高他们的计算能力。

原文链接：